[レポート] DEV316: ロイターLive – Live中継システムのスケールと監視 #reinvent

先日開催されました AWS re:Invent 2018 より下記セッションをレポートします。セッションの拝聴はできなかったのですが、公開された動画と資料をもとにお送りします。

セッションタイトル

• DEV316-S - Reuters Lives: Scaling & Monitoring Live Video in the Cloud

概要

セッション概要より抄訳：
ロイターは大量のニュースコンテンツを日夜配信しています。それらは時事問題でありタイミングが大切だが、AWS は幅広いサービスによりその要求に完璧に応える。このセッションでは、ロイターのライブイベントのための堅牢なシステムをどう構築し、管理し、監視するかを共有する。

As a global media organization, Reuters delivers a wide array of event-specific content and applications tied to the news of the day. While the size and scale of each event may vary between a national election to regional breaking news, one thing they all have in common is that they are short-lived, topical, and time-critical. As a result, there is only one chance to get it right. The AWS Cloud is a perfect enabler for that, with a wide range of services. In this session Reuters shares its approach to building, managing, and monitoring robust systems for live events. This session is brought to you by AWS partner, Datadog.

Speaker

• Romeo Radanyi - Associate Architect, Thomson Reuters
• Kirk Kaiser - Technical Evangelist, Datadog

資料

スライド

動画

内容

「ロイター」とは

• 世界最大級のニュースメディアエージェンシー
• 2,500名のジャーナリストが毎日ニュースを発信
  • 世界中の 200ヶ所
  • 16言語

ニュース配信におけるテクノロジーの貢献

• 1865年（19世紀）、ニュースは大西洋を渡る

• 蒸気船
• 伝書鳩
• リンカーン大統領の暗殺事件は蒸気船と電信（Telegram / 電報）のハイブリッドで伝えられた
• 電報の出現は始まりに過ぎない
  • 無線（ラジオ）
  • ケーブル（海底ケーブル？）
  • 衛星中継
  • インターネット - クラウド
• ニュース集配信プラットフォーム

ロイター Live - モダンなクラウド・ビデオプラットフォームの構築

（ロイターLiveのプロモーションビデオ - 8:24〜）

• 何をなさねばらならなかったか
  • AWSに完全移行 - サーバーレスに
  • ハードウェアアクセラレーション（GPU）
    • CPUはモニタリングなどに
  • 大小様々なイベントを低レイテンシで
• ストリーミングのスタンダード
  • 競合する技術の何を選ぶか
  • トランスポート層 - TCP(安定), UDP
  • プロトコル - HLS, HDS, MPEG-DASH, RTMP, RTMPT, RTMPS, SRT, WebRTC, RTP, RTPS ...
  • フレームレート(fps) - 25(欧州), 29.97(NTSC), 30, 50, 60 ...
  • 圧縮(コーデック) - H.264, HEVC(H.265), VP9(WebM)
• どうしたか？
  • 多数の AWS サービスを利用
  • EC2, S3, EBS, ALB, CloudWatch, VPC, Step Functions, API Gateway, Lambda, SNS, DynamoDB, CloudFront, SSM Agent

アーキテクチャの概要 - AWS Cloud

• カメラクルーからの映像はオンプレミスのエンコーダから RTMP で Streaming Farm EC2 へ
  • EC2 は AutoScaling（g3.16xlarge, 8xlarge）
  • ストレージに S3
• そこから RTMP / HLS / HDS Stream で配信
  • RTMP は EC2 から直接
  • HLS/HDS は ALB, CloudFront 経由
• Stream Manager はサーバーレス
  • AWS Lambda
  • DynamoDB
  • Step Functions
  • API Gateway
• Live Contents Management System
  • Kinesis
  • DynamoDB
  • AWS Lambda
  • SNS
• Reuter Upstream System
  • 二次利用（VOD 配信するために録画、機械学習など）

• 実際のところ、
  • Streaming Farm は複数リージョンに（EU, US）
  • Live Preview Siteをサーバーレスで構築

AWS サービスの使い方

• Kinesis
  • メタデータ、サブスクリプション情報
• DynamoDB
  • メタデータ、サブスクリプション情報ストレージ
• Amazon SNS
  • Live イベントシグナル
• Step Functions
  • VOD オーケストレータ
• AWS Lambda
  • 最友

クラウド各要素のモニタリング - Datadog

• Lambda が重用されている
• Datadogはログとメトリクスを一ヶ所で見られる

挑戦

• リクエストのオフロード
• 経験したことのない負荷 - ALB の暖機を！
• インターネットは未だ安定していない
• 放送品質のクラウドベース標準
• コンテナが使えればいいが。。。
  • GPU、ライセンスキーの問題
• 他に何が出来るか？
  • AWS Media Services
  • スポットインスタンス
  • 機械学習
  • AI - 自動翻訳、Voice Interface
  • 人工衛星オンデマンド

RFC1149の再発明 - IPoAC

• 改めて IPoAC - IP over Avian Carriers を検討する
• 60分 x 60秒 x ( 32Mbps / 8bit ) x 2 (フレームレート増) x 2204セッション
  • ≒ 60.5TB
• SDカードはおよそ 0.5グラムで 512GB+
  • 一度におおよそ 75グラム搭載可能 ≒ 75TB / 1パケット！
  • これを平均 77.6マイル/h -> ラスベガス〜ニューヨークで約 32.2時間 で転送可能
  • 「Snowball in the air」と呼べる :)
• 比較
  • US mobile ネットワークを使う場合、アップロードに 364時間必要
  • 米国内の平均的なブロードバンドネットワークだと 91時間
• ただし、少々のパケットロス は避けられない :(
• 参考
  • 鳥類キャリアによるIP - Wikipedia
  • RFC 1149 - Standard for the transmission of IP datagrams on avian carriers

※ Avian Carriers = 鳥類キャリア = 伝書鳩

所感

モニタリングについての情報が少なかったのが少々残念でした。IPoAC が実装された際にはどのような監視が必要か、検討してみるのも楽しそうですｗ